一元线性回归

先画图

对于一元线性回归来说，应该先根据目前已知的数据画出散点图，然后简单拟合一下直线，可以帮助你简单判断该数据是不是“一元线性回归”

图片来源：https://zhuanlan.zhihu.com/p/45973297

核心思想

• 线性关系：假设 x 和 y 之间是直线关系（y 随 x 增加而均匀增加或减少）
• 误差：实际数据点可能不完美落在直线上（因为测量误差、随机变异等），回归模型会尽量让所有点到直线的距离之和最小
• 目标：量化关系的强度和方向（比如斜率表示变化率）

回归方程的标准表示：

$$\hat{y}=a+bx$$

其中：

• $y$：因变量
• $x$：自变量
• $a$：截距
• $b$：斜率

需要注意的是，$y$ 和 $x$ 并不是相关影响的关系

回归方程的参数计算

计算的关键是求出截距 $a$ 和斜率 $b$：

其中斜率 $b$：

$$b=\frac{\sum (x_i-\overline{x})}{\sum (x_i-\overline{x}{)}^2}=\frac{\sum xy-n\overline{x}\overline{y}}{\sum (x{)}^2-n{\overline{x}}^2}$$

由于线性回归方程恒过 $(\overline{X},\overline{Y})$

故，截距 $a$：

$$a=\overline{Y}-a\overline{X}$$

对于某组数据 $(2,35),(3,36),(4,41),(5,45),(6,44)$，可以将其绘制成表：

$x$	$y$	$xy$	$x^2$
2	35	70	4
3	36	108	9
4	41	164	16
5	45	225	25
6	44	264	16

$$\overline{X}=4,\overline{Y}=40.2,\sum xy=831,\sum (x^2)=90$$

其中 $n=5$

$$b=\frac{\sum xy-n\overline{X}\overline{Y}}{\sum (x{)}^2-n(\overline{X}{)}^2}=\frac{831-5\times 4\times 40.2}{90-5\times 4^2}=2.7$$$$a=\overline{Y}-b\overline{X}=40.2-2.7\times 4=29.4$$

故：

$$\hat{y}=a+bx=29.4+2.7x$$

线性回归的检验

原假设

$H_0:\beta =0$ $X$ 与 $Y$ 没有显著的直线关系 $H_a:\beta \ne$ $X$ 与 $Y$ 有显著的直线关系

使用单因素方差检验来判断是否存在回归关系

ANOVA 表

来源(Source)	平方和（SS）	自由度（df）	均方（MS）
回归 （Regression）	SSR	1	MSR
残差 （Error）	SSE	n-2	MSE
总体	SST	n-1	-

总平方和（总的变异）

$$SST=\sum (y_i-\overline{Y}{)}^2$$

回归平方和（模型解释的变异）

$$SSR=\sum (\widehat{y_i}-\overline{Y}{)}^2$$

残差平方和（模型未解释的变异）

$$SSE=\sum (y_i-\widehat{y_i}{)}^2$$

故，F 统计量为：

$$F=\frac{MSR}{MSE}$$

计算简式

$$S_{xx}=\sum x_i^2-\frac{(\sum x_i{)}^2}{n}\text{(等价于 }S{S}_x)$$$$S_{yy}=\sum y_i^2-\frac{(\sum y_i{)}^2}{n}\text{(总平方和 SST)}$$$$S_{xy}=\sum x_i{y}_i-\frac{(\sum x_i)(\sum y_i)}{n}\text{(协方差)}$$$$\begin{array}{rl}& \boxed{{\displaystyle SSR=b^2{S}_{xx}=b{S}_{xy}}}\\ & \boxed{{\displaystyle SSE=S_{yy}-b{S}_{xy}}}\\ & \boxed{{\displaystyle SST=S_{yy}}}\end{array}$$